Sự chuyển đổi cốt lõi trong tính toán hiệu suất cao bao gồm việc chuyển từ mô hình thực thi tuần tự lấy CPU làm trung tâm sang mô hình sản xuất - tiêu thụ tách biệt, nơi CPU quản lý luồng công việc còn GPU hoạt động độc lập. Nhận thức cốt lõi là rằng GPU không được thiết kế để vận hành như một thiết bị đồng bộ nghiêm ngặt; việc coi nó như vậy sẽ tạo ra một nghẽn cổ chai kiểu "dừng lại và chờ".

1. Chu kỳ vòng đời quy trình làm việc

Trong tư duy bất đồng bộ, nhà phát triển không cần đợi mỗi tác vụ hoàn thành. Thay vào đó, họ phân bổ bộ nhớ, khởi chạy kernel, và sao chép lại kết quả bằng cách đưa các yêu cầu không chặn vào hàng đợi phần cứng.

2. Vượt qua các tình trạng nghẽn

Khi máy chủ bị buộc phải đồng bộ hóa sau mỗi thao tác, khoảng cách thực thi—thời gian di chuyển giữa CPU và GPU—chiếm ưu thế về hiệu suất. Bằng cách tận dụng tính bất đồng bộ, CPU tiếp tục làm việc trong khi GPU xử lý luồng của mình, tối đa hóa mức độ bão hòa phần cứng.

$$\text{Thời gian Tổng cộng} = \max(\text{Công việc CPU}, \text{Công việc GPU}) + \text{Chi phí Đồng bộ}$$